GermanWikipedia - /page/entry.mu

<!DOCTYPE html>

<title>LMS-Algorithmus</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading"><span class="mw-page-title-main">LMS-Algorithmus</span></h1>

</header>

</div>

<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr"><p>Der <b>LMS-Algorithmus</b> (<i><b>L</b>east-<b>M</b>ean-<b>S</b>quares-<b>Algorithmus</b></i>) ist ein <a href="Algorithmus" title="Algorithmus">Algorithmus</a> zur <a href="Approximation" title="Approximation">Approximation</a> der Lösung des <i>Least-Mean-Squares</i>-Problems, das z. B. in der <a href="Digitale_Signalverarbeitung" title="Digitale Signalverarbeitung">digitalen Signalverarbeitung</a> vorkommt. In der <a href="Neuroinformatik" title="Neuroinformatik">Neuroinformatik</a> ist der Algorithmus vor allem als <b>Delta-Regel</b> oder <b>Widrow-Hoff-Regel</b> bekannt.

</p><p>Der Algorithmus beruht auf der <i>Methode des steilsten Abstiegs</i> (<a href="Gradientenverfahren" title="Gradientenverfahren">Gradientenverfahren</a>) und <a href="Sch%C3%A4tzung#Schätzungen_in_der_Statistik" title="Schätzung">schätzt</a> den <a href="Gradient" title="Gradient">Gradienten</a> auf einfache Art. Der Algorithmus arbeitet zeit<a href="Rekursiv" class="mw-redirect" title="Rekursiv">rekursiv</a>, d. h. mit jedem neuen <a href="Datensatz" title="Datensatz">Datensatz</a> wird der Algorithmus einmal durchlaufen und die Lösung aktualisiert. Die Regel wurde erstmals 1960 von <a href="Bernard_Widrow" title="Bernard Widrow">Bernard Widrow</a> und <a href="Marcian_Edward_Hoff" title="Marcian Edward Hoff">Marcian Edward Hoff</a> für das <a href="Maschinelles_Lernen" title="Maschinelles Lernen">Einlernen</a> des <a href="Adaline-Modell" title="Adaline-Modell">Adaline-Modells</a> verwendet.<sup id="cite_ref-widrow_1-0" class="reference"><a href="#cite_note-widrow-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup>

</p><p>Der LMS-Algorithmus wird auf Grund seiner geringen Komplexität häufig eingesetzt, u. a. bei <a href="Adaptiver_Filter" class="mw-redirect" title="Adaptiver Filter">adaptiven Filtern</a>, <a href="Adaptive_Regelung" title="Adaptive Regelung">adaptive Regelungen</a> und <a href="Online" title="Online">Online</a>-<a href="Identit%C3%A4tsfeststellung" title="Identitätsfeststellung">Identifikations</a>verfahren.

</p><p>Ein bedeutender Nachteil des LMS-Algorithmus ist die Abhängigkeit seiner <a href="Konvergenzgeschwindigkeit" title="Konvergenzgeschwindigkeit">Konvergenzgeschwindigkeit</a> von den Eingangsdaten, d. h. er findet unter ungünstigen Umständen (schnelle zeitliche Änderungen der Eingangsdaten) möglicherweise keine Lösung.

</p>

<div class="mw-heading mw-heading2"><h2 id="Algorithmus">Algorithmus</h2></div>

<p>Beim Problem der kleinsten Quadrate muss ein <a href="Vektor" title="Vektor">Vektor</a> <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {w}}}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8b6c48cdaecf8d81481ea21b1d0c046bf34b68ec.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.664ex; height:2.343ex;" alt="{\displaystyle {\vec {w}}}" loading="lazy"></span> bestimmt werden, so dass die Differenzen <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle y_{i}-x_{i}^{T}{\vec {w}}}">

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle y_{i}-x_{i}^{T}{\vec {w}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/e7429a29a5076aa82fad200ed811997001b9cf28.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:9.162ex; height:3.176ex;" alt="{\displaystyle y_{i}-x_{i}^{T}{\vec {w}}}" loading="lazy"></span> insgesamt minimiert werden. Daraus ergibt sich die Formel

</p>

<mover>

</mover>

</mrow>

</munder>

</mrow>

</mrow>

</munderover>

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

</mover>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</munder>

<mover>

</mover>

</mrow>

</mrow>

</mrow>

</msubsup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \min _{\vec {w}}\sum _{i=1}^{n}(y_{i}-x_{i}^{T}{\vec {w}})^{2}\Longleftrightarrow \min _{w}\|y-X{\vec {w}}\|_{2}^{2}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/7d34a82d8ab9c5207077848bdd26fb5eb4b60689.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.005ex; width:40.532ex; height:6.843ex;" alt="{\displaystyle \min _{\vec {w}}\sum _{i=1}^{n}(y_{i}-x_{i}^{T}{\vec {w}})^{2}\Longleftrightarrow \min _{w}\|y-X{\vec {w}}\|_{2}^{2}}" loading="lazy"></span></dd></dl>

<p>Der LMS-Algorithmus startet an einem bestimmten Punkt <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w_{1}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle w_{1}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/2f6728d2b30f42f88b52281be5ae0584fdc9df64.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.718ex; height:2.009ex;" alt="{\displaystyle w_{1}}" loading="lazy"></span> und wählt bei jedem Iterationsschritt <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle i\geq 1}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle i\geq 1}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a40d31039a220c00dcc836babe2c5f6961c689bf.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.505ex; width:5.063ex; height:2.343ex;" alt="{\displaystyle i\geq 1}" loading="lazy"></span> die Funktion <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle (y_{i}-x_{i}^{T}{\vec {w}})^{2}}">

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

</mover>

</mrow>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle (y_{i}-x_{i}^{T}{\vec {w}})^{2}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8ff1d4691ad89ee6ced04d06c9ec62427d3ca1ad.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:12.026ex; height:3.343ex;" alt="{\displaystyle (y_{i}-x_{i}^{T}{\vec {w}})^{2}}" loading="lazy"></span> aus und führt einen <a href="Gradientenabstieg" class="mw-redirect" title="Gradientenabstieg">Gradientenabstieg</a> für diese Funktion durch:

</p>

<mtr>

<mtd>

<mfrac>

<mrow>

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

</mover>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

<mrow>

<mover>

</mover>

</mrow>

</mfrac>

</mrow>

</mtd>

<mtd>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

</mover>

</mrow>

</mtd>

</mtr>

<mtr>

<mtd>

<mover>

<msub>

</mrow>

</msub>

</mover>

</mrow>

</mtd>

<mtd>

<mover>

<msub>

</mrow>

</msub>

</mover>

</mrow>

<mfrac>

<mrow>

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

</mover>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

<mrow>

<mover>

</mover>

</mrow>

</mfrac>

</mrow>

</mtd>

</mtr>

<mtr>

<mtd>

<mover>

<msub>

</mrow>

</msub>

</mover>

</mrow>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</msubsup>

<mover>

<msub>

</mrow>

</msub>

</mover>

</mrow>

</mtd>

</mtr>

</mtable>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\begin{aligned}{\frac {\partial (y_{i}-x_{i}^{T}{\vec {w}})^{2}}{\partial {\vec {w}}}}&=-2x_{i}(y_{i}-x_{i}^{T}{\vec {w}})\\{\vec {w_{i+1}}}&={\vec {w_{i}}}-h{\frac {\partial (y_{i}-x_{i}^{T}{\vec {w}})^{2}}{\partial {\vec {w}}}}\\&={\vec {w_{i}}}+2hx_{i}(y_{i}-x_{i}^{T}{\vec {w_{i}}})\\\end{aligned}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/5a91dd2dcb404b98ea5a80d9cf13d608e47fab52.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -7.671ex; width:39.736ex; height:16.509ex;" alt="{\displaystyle {\begin{aligned}{\frac {\partial (y_{i}-x_{i}^{T}{\vec {w}})^{2}}{\partial {\vec {w}}}}&=-2x_{i}(y_{i}-x_{i}^{T}{\vec {w}})\\{\vec {w_{i+1}}}&={\vec {w_{i}}}-h{\frac {\partial (y_{i}-x_{i}^{T}{\vec {w}})^{2}}{\partial {\vec {w}}}}\\&={\vec {w_{i}}}+2hx_{i}(y_{i}-x_{i}^{T}{\vec {w_{i}}})\\\end{aligned}}}" loading="lazy"></span></dd></dl>

<p>Für das verallgemeinerte <a href="Optimierungsproblem" title="Optimierungsproblem">Optimierungsproblem</a>

</p>

<mover>

</mover>

</mrow>

</munder>

<mfrac>

</mfrac>

</mrow>

</mrow>

</mrow>

</munderover>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \min _{\vec {w}}{\frac {1}{n}}\sum _{i=1}^{n}f_{i}(w)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/16a882be2daabc00cce052e436c48b56d0c15335.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.005ex; width:16.035ex; height:6.843ex;" alt="{\displaystyle \min _{\vec {w}}{\frac {1}{n}}\sum _{i=1}^{n}f_{i}(w)}" loading="lazy"></span></dd></dl>

<p>wird für den <a href="Vektor" title="Vektor">Vektor</a> <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {w}}}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8b6c48cdaecf8d81481ea21b1d0c046bf34b68ec.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.664ex; height:2.343ex;" alt="{\displaystyle {\vec {w}}}" loading="lazy"></span> der verallgemeinerte Iterationsschritt

</p>

<mover>

<msub>

</mrow>

</msub>

</mover>

</mrow>

<mover>

<msub>

</mrow>

</msub>

</mover>

</mrow>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w_{i+1}}}={\vec {w_{i}}}-h_{i}\nabla f_{i}(w)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/310a238a3ea542a5228052aae99c9c58f04e21b2.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:22.454ex; height:3.509ex;" alt="{\displaystyle {\vec {w_{i+1}}}={\vec {w_{i}}}-h_{i}\nabla f_{i}(w)}" loading="lazy"></span></dd></dl>

<p>mit dem <a href="Nabla-Operator" title="Nabla-Operator">Nabla-Operator</a> durchgeführt.<sup id="cite_ref-2" class="reference"><a href="#cite_note-2"><span class="cite-bracket">[</span>2<span class="cite-bracket">]</span></a></sup>

</p><p>Beim LMS-Algorithmus geht es darum, die Koeffizienten eines <a href="Filter_mit_endlicher_Impulsantwort" title="Filter mit endlicher Impulsantwort">FIR-Filters</a> so zu bestimmen, dass der Fehler zwischen Ausgangsdaten des Filters <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {x}}(n)^{T}{\vec {w}}(n)}">

<mover>

</mover>

</mrow>

<msup>

</mrow>

</msup>

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {x}}(n)^{T}{\vec {w}}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/5e633541fa08aec190243ff39f7166cc0db218a3.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:10.791ex; height:3.176ex;" alt="{\displaystyle {\vec {x}}(n)^{T}{\vec {w}}(n)}" loading="lazy"></span> und vorgegebenen Referenzdaten <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle y(n)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle y(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/4ce08101a030ba404b955b3bf515b64f1638d996.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.359ex; height:2.843ex;" alt="{\displaystyle y(n)}" loading="lazy"></span> minimiert wird.

</p><p>Der LMS-Algorithmus hat dann folgende Form:

</p>

<mover>

</mover>

</mrow>

<msup>

</mrow>

</msup>

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle e(n)=y(n)-{\vec {x}}(n)^{T}{\vec {w}}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0f7517bf2445007c993af2d8d8537c6546298b49.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:25.377ex; height:3.176ex;" alt="{\displaystyle e(n)=y(n)-{\vec {x}}(n)^{T}{\vec {w}}(n)}" loading="lazy"></span></dd></dl>

<mover>

</mover>

</mrow>

<mover>

</mover>

</mrow>

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w}}(n+1)={\vec {w}}(n)+\mu e(n){\vec {x}}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0a8611e868e1a870c3b963e737c508d28d3674e8.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:29.901ex; height:2.843ex;" alt="{\displaystyle {\vec {w}}(n+1)={\vec {w}}(n)+\mu e(n){\vec {x}}(n)}" loading="lazy"></span></dd></dl>

<p>Dabei ist <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {x}}(n)}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {x}}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/d0cc6142d17d3474df8f0df01df1052e35d69747.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.534ex; height:2.843ex;" alt="{\displaystyle {\vec {x}}(n)}" loading="lazy"></span> ein <a href="Vektor" title="Vektor">Vektor</a> mit Eingangsdaten der Zeitpunkte <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n-(M+1)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n-(M+1)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/b6b6b16e55e92a68a95fdef03cae81136aa1b327.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:12.489ex; height:2.843ex;" alt="{\displaystyle n-(M+1)}" loading="lazy"></span> bis <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n,y(n)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n,y(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/9d53d0cceb23ae0a5932f60e83bcf30c5456b782.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.788ex; height:2.843ex;" alt="{\displaystyle n,y(n)}" loading="lazy"></span> ein Referenzdatum zum Zeitpunkt <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"></span>, <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {w}}(n)}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w}}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/4debebf3bb14274e8e341c9450ab6268c60421f1.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.868ex; height:2.843ex;" alt="{\displaystyle {\vec {w}}(n)}" loading="lazy"></span> der aktuelle Vektor der Filtergewichte des Transversalfilters der Ordnung <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle M,\mu }">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle M,\mu }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/36c3b5c1a6d83cf0f6adaddb5b923201de802ca0.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.878ex; height:2.676ex;" alt="{\displaystyle M,\mu }" loading="lazy"></span> ein Faktor zur Einstellung der Geschwindigkeit und Stabilität der Adaption und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {w}}(n+1)}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w}}(n+1)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/4baadea01e9a605642569e9dbd4968fadacc7543.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:8.871ex; height:2.843ex;" alt="{\displaystyle {\vec {w}}(n+1)}" loading="lazy"></span> der neu zu bestimmende Filtervektor der Ordnung <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle M}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle M}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f82cade9898ced02fdd08712e5f0c0151758a0dd.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.442ex; height:2.176ex;" alt="{\displaystyle M}" loading="lazy"></span>. Es wird also zu jedem Zeitpunkt der aktuelle Fehler bestimmt und daraus werden die neuen Filtergewichte <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\vec {w}}(n+1)}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\vec {w}}(n+1)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/4baadea01e9a605642569e9dbd4968fadacc7543.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:8.871ex; height:2.843ex;" alt="{\displaystyle {\vec {w}}(n+1)}" loading="lazy"></span> berechnet.

</p>

<div class="mw-heading mw-heading2"><h2 id="Ableitungsfunktion">Ableitungsfunktion</h2></div>

<p>Die Idee hinter LMS-Filtern besteht darin, den <a href="Gradientenverfahren" title="Gradientenverfahren">steilsten Abstieg</a> zu verwenden, um Filtergewichte <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\hat {\mathbf {h} }}(n)}">

<mover>

</mrow>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\mathbf {h} }}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8ba2e25a7d6e6138e5d030a71ede0316fa8725af.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.689ex; height:3.343ex;" alt="{\displaystyle {\hat {\mathbf {h} }}(n)}" loading="lazy"></span> zu finden, die eine Kostenfunktion minimieren. Wir beginnen mit der Definition der Kostenfunktion als

</p>

<mrow>

<mrow>

</mrow>

<msup>

</mrow>

</mrow>

</msup>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle C(n)=E\left\{|e(n)|^{2}\right\}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/e89843080839f3801dd32a020d28aa1afd247a7b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.838ex; width:19.968ex; height:4.843ex;" alt="{\displaystyle C(n)=E\left\{|e(n)|^{2}\right\}}" loading="lazy"></span></dd></dl>

<p>wobei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle e(n)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle e(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/6989ec1a6e1970e39ac89cf014c4ce111b6782ce.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.287ex; height:2.843ex;" alt="{\displaystyle e(n)}" loading="lazy"></span> die Abweichung bei der aktuellen Stichprobe <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle n}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"></span> ist und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle E\{\cdot \}}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle E\{\cdot \}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a432db71d3868c5b5f7f58b08b25439b43b43e03.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.747ex; height:2.843ex;" alt="{\displaystyle E\{\cdot \}}" loading="lazy"></span> den <a href="Erwartungswert" title="Erwartungswert">Erwartungswert</a> bezeichnet. Diese Kostenfunktion ist die <a href="Mittlere_quadratische_Abweichung" title="Mittlere quadratische Abweichung">mittlere quadratische Abweichung</a> und wird vom LMS-Algorithmus minimiert. Die Anwendung des steilsten Abstiegs bedeutet, die <a href="Partielle_Ableitung" title="Partielle Ableitung">partiellen Ableitungen</a> in Bezug auf die einzelnen Einträge des Filterkoeffizienten-Vektors

</p>

<msub>

<msup>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

</msub>

<msub>

<msup>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

</msub>

<mrow>

<mrow>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

<mrow>

<mrow>

<msub>

<msup>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

</msub>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \nabla _{{\hat {\mathbf {h} }}^{H}}C(n)=\nabla _{{\hat {\mathbf {h} }}^{H}}E\left\{e(n)\,e^{*}(n)\right\}=2E\left\{\nabla _{{\hat {\mathbf {h} }}^{H}}(e(n))\,e^{*}(n)\right\}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/12eb6f4149d45aefe6104b3d40bae53f5d25b428.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.838ex; width:57.625ex; height:4.843ex;" alt="{\displaystyle \nabla _{{\hat {\mathbf {h} }}^{H}}C(n)=\nabla _{{\hat {\mathbf {h} }}^{H}}E\left\{e(n)\,e^{*}(n)\right\}=2E\left\{\nabla _{{\hat {\mathbf {h} }}^{H}}(e(n))\,e^{*}(n)\right\}}" loading="lazy"></span></dd></dl>

<p>zu nehmen, wobei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \nabla }">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \nabla }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a3d0e93b78c50237f9ea83d027e4ebbdaef354b2.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.936ex; height:2.176ex;" alt="{\displaystyle \nabla }" loading="lazy"></span> der <a href="Nabla-Operator" title="Nabla-Operator">Gradientenoperator</a> ist:

</p>

<msub>

<msup>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

</msub>

<msub>

<msup>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

</msub>

<mrow>

<mrow>

<msup>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

</msup>

</mrow>

</mrow>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \nabla _{{\hat {\mathbf {h} }}^{H}}(e(n))=\nabla _{{\hat {\mathbf {h} }}^{H}}\left(d(n)-{\hat {\mathbf {h} }}^{H}\cdot \mathbf {x} (n)\right)=-\mathbf {x} (n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1b2755abd6c38f67a3353816379b6e01e213ce28.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.838ex; width:47.745ex; height:4.843ex;" alt="{\displaystyle \nabla _{{\hat {\mathbf {h} }}^{H}}(e(n))=\nabla _{{\hat {\mathbf {h} }}^{H}}\left(d(n)-{\hat {\mathbf {h} }}^{H}\cdot \mathbf {x} (n)\right)=-\mathbf {x} (n)}" loading="lazy"></span></dd>

<mrow>

<mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \nabla C(n)=-2E\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/3fa881d9ac2ac62bb37aae274ddf8c1448d15a78.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:27.807ex; height:2.843ex;" alt="{\displaystyle \nabla C(n)=-2E\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}" loading="lazy"></span></dd></dl>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \nabla C(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0d4bb0be2749b034f14f3c66abf9b6d485d56659.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.906ex; height:2.843ex;" alt="{\displaystyle \nabla C(n)}" loading="lazy"></span> ein Vektor, der auf den steilsten Anstieg der Kostenfunktion zeigt. Um das Minimum der Kostenfunktion zu finden, müssen wir einen Schritt in die entgegengesetzte Richtung von <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \nabla C(n)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \nabla C(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0d4bb0be2749b034f14f3c66abf9b6d485d56659.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.906ex; height:2.843ex;" alt="{\displaystyle \nabla C(n)}" loading="lazy"></span> machen. Um das mathematisch auszudrücken

</p>

<mover>

</mrow>

</mover>

</mrow>

<mover>

</mrow>

</mover>

</mrow>

<mfrac>

</mfrac>

</mrow>

<mover>

</mrow>

</mover>

</mrow>

<mrow>

<mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\mathbf {h} }}(n+1)={\hat {\mathbf {h} }}(n)-{\frac {\mu }{2}}\nabla C(n)={\hat {\mathbf {h} }}(n)+\mu \,E\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ff91b20e86054638ec66deb14fb431426abbbc40.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.838ex; width:55.713ex; height:4.843ex;" alt="{\displaystyle {\hat {\mathbf {h} }}(n+1)={\hat {\mathbf {h} }}(n)-{\frac {\mu }{2}}\nabla C(n)={\hat {\mathbf {h} }}(n)+\mu \,E\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}" loading="lazy"></span></dd></dl>

<p>wobei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\frac {\mu }{2}}}">

<mfrac>

</mfrac>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\frac {\mu }{2}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/d73d6e31eb97384ae9843c425399b10cc56e6793.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.838ex; width:2.238ex; height:4.843ex;" alt="{\displaystyle {\frac {\mu }{2}}}" loading="lazy"></span> die Schrittgröße (Anpassungskonstante) ist. Das heißt, wir haben einen sequentiellen Aktualisierungsalgorithmus gefunden, der die Kostenfunktion minimiert. Leider ist dieser Algorithmus erst realisierbar, wenn wir E kennen. Im Allgemeinen wird der obige Erwartungswert nicht berechnet. Um den LMS-Algorithmus stattdessen in einer Online-Umgebung (Aktualisierung nach Erhalt jedes neuen Beispiels) auszuführen, verwenden wir eine <a href="Sch%C3%A4tzfunktion" title="Schätzfunktion">Schätzfunktion</a> dieses Erwartungswerts.

</p>

<div class="mw-heading mw-heading2"><h2 id="Vereinfachungen">Vereinfachungen</h2></div>

<p>Für die meisten Systeme muss die Erwartungsfunktion <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {E}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}">

</mrow>

<mrow>

<mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {E}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/3ccb6638af887ac07c2e2bd8ea7e4d4251a48eb4.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:14.831ex; height:2.843ex;" alt="{\displaystyle {E}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}}" loading="lazy"></span> approximiert werden. Dies kann erfolgen mit der folgenden <a href="Erwartungstreue" title="Erwartungstreue">erwartungstreuen</a> <a href="Sch%C3%A4tzfunktion" title="Schätzfunktion">Schätzfunktion</a>

</p>

<mover>

</mover>

</mrow>

<mrow>

<mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

<mfrac>

</mfrac>

</mrow>

</mrow>

</mrow>

</munderover>

</mrow>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {E}}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}={\frac {1}{N}}\sum _{i=0}^{N-1}\mathbf {x} (n-i)\,e^{*}(n-i)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/c8c2628d8cdbaef46c655f690d7a51ca4830630e.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -3.005ex; width:42.793ex; height:7.343ex;" alt="{\displaystyle {\hat {E}}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}={\frac {1}{N}}\sum _{i=0}^{N-1}\mathbf {x} (n-i)\,e^{*}(n-i)}" loading="lazy"></span></dd></dl>

<p>wobei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle N}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle N}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f5e3890c981ae85503089652feb48b191b57aae3.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" alt="{\displaystyle N}" loading="lazy"></span> die Anzahl der <a href="Stichprobe" title="Stichprobe">Stichproben</a> angibt, die für diese Schätzfunktion verwendet wird.

</p><p>Der einfachste Fall ist <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle N=1}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle N=1}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/85982022b9eb1f295b44de55023687a490db0a39.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:6.325ex; height:2.176ex;" alt="{\displaystyle N=1}" loading="lazy"></span>:

</p>

<mover>

</mover>

</mrow>

<mrow>

<mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {E}}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}=\mathbf {x} (n)\,e^{*}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/78699acde2c9d2114412f5c80dfa4558b7214718.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:28.274ex; height:3.343ex;" alt="{\displaystyle {\hat {E}}\left\{\mathbf {x} (n)\,e^{*}(n)\right\}=\mathbf {x} (n)\,e^{*}(n)}" loading="lazy"></span></dd></dl>

<p>Für diesen Fall ist der Aktualisierungsalgorithmus wie folgt:

</p>

<mover>

</mrow>

</mover>

</mrow>

<mover>

</mrow>

</mover>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\hat {\mathbf {h} }}(n+1)={\hat {\mathbf {h} }}(n)+\mu \mathbf {x} (n)\,e^{*}(n)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/e9715ea22eee8ac4d59acfa647edf7f81b4b01c4.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:31.066ex; height:3.343ex;" alt="{\displaystyle {\hat {\mathbf {h} }}(n+1)={\hat {\mathbf {h} }}(n)+\mu \mathbf {x} (n)\,e^{*}(n)}" loading="lazy"></span></dd></dl>

<p>Dies stellt tatsächlich den Aktualisierungsalgorithmus für den LMS-Filter dar.

</p>

<div class="mw-heading mw-heading2"><h2 id="Verwendung_in_der_Neuroinformatik">Verwendung in der Neuroinformatik</h2></div>

<p>Der LMS-Algorithmus gehört zur Gruppe der <a href="%C3%9Cberwachtes_Lernen" title="Überwachtes Lernen">überwachten Lernverfahren</a>. Dazu muss ein externer Lehrer existieren, der zu jedem Zeitpunkt der Eingabe die gewünschte Ausgabe, den Zielwert, kennt.

</p><p>Er kann auf jedes einschichtige <a href="K%C3%BCnstliches_neuronales_Netz" title="Künstliches neuronales Netz">künstliche neuronale Netz</a> angewendet werden, dabei muss die <a href="Aktivierungsfunktion" class="mw-redirect" title="Aktivierungsfunktion">Aktivierungsfunktion</a> <a href="Differenzierbar" class="mw-redirect" title="Differenzierbar">differenzierbar</a> sein. Das <a href="Backpropagation" title="Backpropagation">Backpropagation</a>-Verfahren verallgemeinert diesen Algorithmus und kann auch auf mehrschichtige Netze angewandt werden.

</p>

<div class="mw-heading mw-heading2"><h2 id="Siehe_auch">Siehe auch</h2></div>

<ul><li><a href="Methode_der_kleinsten_Quadrate" title="Methode der kleinsten Quadrate">Methode der kleinsten Quadrate</a></li></ul>

<div class="mw-heading mw-heading2"><h2 id="Weblinks">Weblinks</h2></div>

<ul><li><a rel="nofollow" class="external text" href="https://neuromant.de/2018/12/16/Tutorial_Das-Perzeptron-Teil-3/#Unsere-kleine-Formelsammlung">Ausführliche Herleitung der Delta-Regel für Neuronale Netze</a></li></ul>

<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>

<li id="cite_note-widrow-1"><span class="mw-cite-backlink"><a href="#cite_ref-widrow_1-0">↑</a></span> <span class="reference-text">Bernard Widrow und Marcian Edward Hoff: <cite style="font-style:italic">Adaptive switching circuits</cite>. IRE WESCON Convention Record, vol. 4, Los Angeles 1960, <span style="white-space:nowrap">S.<span style="display:inline-block;width:.2em"> </span>96–104</span> (<a rel="nofollow" class="external text" href="https://isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf">PDF</a>).<span class="Z3988" title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Abook&rfr_id=info:sid/de.wikipedia.org:LMS-Algorithmus&rft.au=Bernard+Widrow+und+Marcian+Edward+Hoff&rft.btitle=Adaptive+switching+circuits&rft.date=1960&rft.genre=book&rft.pages=96-104&rft.place=Los+Angeles&rft.pub=IRE+WESCON+Convention+Record%2C+vol.+4" style="display:none"> </span></span>

</li>

<li id="cite_note-2"><span class="mw-cite-backlink"><a href="#cite_ref-2">↑</a></span> <span class="reference-text">Jiantao Jiao, University of California, Berkeley: <a rel="nofollow" class="external text" href="https://people.eecs.berkeley.edu/~jiantao/225a2020spring/scribe/EECS225A_Lecture_16.pdf">Gradient Descent and Least Mean Squares Algorithm</a></span>

</li>

</ol></div><div><div class="zim-footer">

Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2024-11-13" href="https://de.wikipedia.org/wiki/?title=LMS-Algorithmus&oldid=250300037">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.

</div>

</div></div>

</div>

</main>

</div>

</body></html>